Danh xưng "Bộ đội Phú Đài" thực ra là tên về sau này. Nó bắt nguồn từ tên ghép của đảo Phú Quốc và Đài Loan. Trên thực tế, không có một sự thành lập chính thức đơn vị với tên như vậy.

Với thắng lợi của Quân Giải phóng Nhân dân Trung Quốc năm 1949, lực lượng quân sự chính của quân đội Trung Hoa Dân Quốc (gọi tắt là Quốc quân) ở lục địa về cơ bản đã bị đánh bại. Một bộ phận quân lực rút lui về bờ biển phía đông nam, được các tàu của Hải quân Trung Hoa Dân Quốc di chuyển đến Đài Loan hoặc đảo Hải Nam. Một bộ phận các đơn vị thuộc quyền quân phiệt Tân Quế hệ và Điền hệ rút về các căn cứ cũ ở phía nam. Vào đầu tháng 7 năm 1949, lực lượng du kích Cộng sản Trung Quốc phối hợp với các đơn vị quân sự của Việt Minh ở vùng biên giới Quảng Tây, tấn công các đơn vị tàn quân của Quốc quân ở Nam Quan, Quảng Tây. Trong số tàn quân của Quốc quân trốn thoát được, có 48 binh sĩ trốn sang Việt Nam, vào địa bàn do quân Pháp kiểm soát. Họ đã bị quân Pháp tước vũ khí và đưa đi quản thúc ở khu vực bang hội Hoa kiều tại Lạng Sơn. Đây là bộ phận tàn quân Quốc quân đầu tiên được quản thúc trên đất Việt Nam.

Cho đến cuối năm 1949, Quân Giải phóng nhân dân Trung Quốc tiếp tục truy quét tàn dư của Quốc quân ở Lưỡng Quảng. Dưới sự chỉ đạo của Bạch Sùng Hy, các đơn vị tàn quân của Tân Quế hệ được tổ chức lại thành Binh đoàn số 1, chịu trách nhiệm phòng thủ Quảng Tây, gồm các quân đoàn 17, 71 và 97, đặt dưới quyền chỉ huy của Hoàng Kiệt. Tuy nhiên, Quân Giải phóng Nhân dân nhanh chóng chiếm được Quý Dương, Quế Lâm, Sa Đường, Liễu Châu và Ngô Châu; chia thành hai đường công kích vào Quảng Tây.

Do thế tiến công của Quân Giải phóng nhân dân, lực lượng Quốc quân ở Quảng Tây chỉ còn có thể tiếp tục rút lui về hướng biên giới Việt - Trung ở phía Nam. Một số đơn vị lẻ tẻ đã vượt biên giới, di chuyển vào vùng kiểm soát của quân Pháp. Ngày 5 tháng 12, Quân Giải phóng Nhân dân chiếm Nam Ninh, cắt đường rút ra hướng biển của Quốc quân. Để bảo tồn lực lượng về sau, Bạch Sùng Hy đã chỉ thị cho các đơn vị trước khi rời Quảng Tây cố gắng tránh giao chiến, bảo toàn lực lượng, phân tán nhẹ, và cơ động đánh du kích, chọn căn cứ thích hợp, đặt an toàn lên hàng đầu.